2025 iThome 鐵人賽
分享至
在尋找最佳解的過程有很多原因會導致我們找不到，誠如前一篇所述，我們是試圖再找一個有最低 Loss 的組合，尋找的過程中，則是透過 learning rate 一步步的在移動。移動的過程如果發現質變大了一點就退回去，變小了一點就繼續向前。
在模型的形狀上，可以有各種光怪陸離的場景，例如：
最直覺在尋找最佳解的過程會遇到的問題就是 local minima，在局部區域越找越小，但其實只是局部的最佳解。為了避免這個狀況，在數學上可以透過 Momentum Gradient 來更新參數。
TBC
IT邦幫忙
iThome鐵人賽
看影片追技術